Когда трансформеры врут: как мы дружили NLP- 27 
решения с высокими требованиями к качеству po 2 
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Артем Бондарь, SamsungNEXT 
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GPT-3 hype 


“It will literally solve all the 


problems. All you have to do 15 to 


give a clear task definition" 


ali (ТЕ @_» 


Мее: СРТ-3. Її Наз 


Learned to Code (and Blog 
and Argue). 


lhe latest natural-language-cs™em generates tweets, pens 


poetry, summarizes ег ?rs trivia questions, 


translates languages ай" 'S its own computer 


released an Al that can do 


| almost anything 


В это время наши 


продакты: 
Qty Prod Comm 
2 - apples honey crisp or granny smith apples , 
Qty Rng Comm 
3 - 4 oney crisp or granny smith apples , 


Почему это бренд? 31:27:32 


“Это норма”: 


Attack text label iPod v 


Granny Smith 0.1% 

library 0.0% library 0.0% 

pizza 0.0% pizza 0.0% 
toaster 0.0% toaster 0.0% 

Ч dough 0.1% dough 0.0% 


When we put a label saying “iPod” on this Granny Smith apple, the model erroneously classifies it as 
an iPod in the zero-shot setting. 
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Пропасть между SOTA DeepLearning и продакшном 


АГ-лабы, 


журналисты прорывные Бизнес / венчуры 
У ои неиросети 


ии 2) чату, тай 
27 МІ-инженеры / 
72 


/ 
/ 


/ | / 
2 Уе E 


О чем доклад: 


Фреймворк, в котором мы размышляли, проектируя систему 


Ошибки, за которые мы дорого заплатили 
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Пару слов о себе 


- МФТИ(ФУПМ) 

- Engineering in Parallels 

- Tech lead B нескольких стартапах 

- MachineLearning team lead в SamsungNEXT 
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Weather Good Day Contests About Us Watch Live Newsletter 


9 Viral ТІКТок video recipe 
о prompts feta cheese shortage 


Ву Mac King | Published March 4 | Food and Drink | FOX5 МУ 


Latest News View More 
Cheese shortage? Blame TikTok 


Chicken wing shortage: 
Restaurants nationwide 
worried over skyrocketing 
prices 


Man fraudulently obtained 
federal coronavirus relief 
funds to buy alpaca farm, 
prosecutors say 


COVID-19 vaccine boosters 
likely needed every 9 to 12 
months, Moderna president 
says 


6th-grade girl shoots 3 at 
Idaho school before being 
disarmed by teacher, 
authorities say 


Cheese shortage? Blame TikTok 


A TikTok video of a pasta dish based on a three-year-old blog post recipe has suddenly caused a shortage of 

feta cheese. Twitter introduces Tip Jar, 
allowing users to send money 
to others 


NEW YORK - It all started with a pasta dish. 


CES 2021 Презентация концепта “Smart Kitchen" 


Turn recipes into 
shopping lists. 


Save, organize, shop, and share with Whisk. It’s cooking, 


connected. 


Download the App 


12:30 


Shopping list 


Fruits and vegetables 


& Avocados ! 
4 Tomatoes 1 pint 
E Corn 2 cup: 
С Fresh lime juice 1 tablespoon 


ж Red onion 1/2 cu; 


Condiments 


@, Olive oil 2 tablespoon 


Herbs and spices 


= Cilantro 14 сиг 
* Pepper 1/4 teaspoon 


Salt 1/4 teaspoon 


MachineLearning в Whisk 


Натегоризация рецептов Рецепт -> список покупок 


Рекомендательные системы Распознавание списков покупок 


Умный поиск Подсчет нутришн-информации 


Нормализация данных для аналитики 


Как превратить рецепт в список покупок 


• 1005 plain flour 

е 2 large eggs 

e 300ml milk 

e 1 tbsp sunflower or vegetable oil, plus a little extra for 
frying 

- lemon wedges to serve (optional) 

• caster sugar to serve (optional) 


Как превратить рецепт в список покупок 


• 1005 plain flour 

е 2 large eggs 

e 300ml milk 

e 1 tbsp sunflower or vegetable oil, plus a little extra for 
frying 

- lemon wedges to serve (optional) 

• caster sugar to serve (optional) 


Tesco British Semi . | 
Allinson Strong White Skimmed Milk 2.272L, 4 Tesco Olive: Оп 1L Tesco Lemons 4 Раск Tesco Golden Caster 1Кр 


Bread Flour 1.5Kg Pints Tesco 6 Eggs Bag 


Люди пишут ингредиенты очень по-разному 


2 (15 ounce) cans black beans, rinsed and drained 


Люди пишут ингредиенты очень по-разному 


Так сколько вешать в граммах? 


НЕ ај 


2 (15 ounce) cans black beans, rinsed and drained 


1 


Не просто фасоль, а фасоль в банке 


А это, вообше, часть инструкций к приготовлению 


Люди пишут ингредиенты очень по-разному 


3 tbsp ready-toasted mixed seeds, such as sunflower, pumpkin and 


sesame (from major supermarkets and health food shops) 


Война и мир... 


Люди пишут ингредиенты очень по-разному 


cucumber and/or cocktail shrimp for garnish (optional) 


Два альтернативных ингредиента в строке 


Решаем задачу по учебнику ассортимент 


магазинов 


тексты ингредиентов 


• 100g plain flour 
° 2 large eggs 
е 300ml milk 
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Решаем задачу по учебнику 


хо М 
Allinson's 
BREAD FLOUR 
"поно ww 
J «і 


11kg 


OLIVE OIL 


12". 
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Решаем задачу по учебнику 


1002 beef 


OLIVE OIL 


12". 


11kg 


at HighlLoad++ 
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Решаем задачу по учебнику 


1002 beef 


BREAD FLOL 


R 
% 


11kg 


Айкен) 


HL HighLoad+ 


Весна 2021 


Какая конкретно модель? Да неважно 


Хоть классика Хоть трансформеры 


N 
7 


tf. = number of occurrences of i in j 


и, =; ,Xlog( | 


df, = number of documents containing i 


М = total number of documents 
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И пока аннотаторы трудятся... 


100g beef т Жэ 


з НЕН! сасан- 
(нь) нето 


МІ-инженер өғдыьхгез наслаждается автоматизацией 


mifiow @ © DC 


з High! сасин 
(нь) Highl ова 


Вариативность зашкаливает 


225 grams of beef 
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Вариативность зашкаливает 


225 grams of beef 


Tesco Diced Beef 400G Tesco 2 Beef Medallion 


Steaks 340G 


Tesco Finest Beef Tesco Beef Stir Fry Strips 
Roasting Joint 357G 


з High! сасн- 
(нь) Highl ова 


Вариативность зашкаливает 


<num><unit>of beef 


Tesco Diced Beef 400G Tesco 2 Beef Medallion 


Steaks 340G 


Tesco Finest Beef Tesco Beef Stir Fry Strips 
Roasting Joint 357G 


|^ HighLoad++ 
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Вариативность зашкаливает 


<num><unit>of beef 


115 beef, cut into bite-size pieces 


2 cups diced cooked beef 
2 155, beef, to serve four 
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МІ умирает молча 


е?/% 


(О ©) 


А с точки зрения бизнеса? 


Walmart 2,2 
чу 


г HighLoad++ 
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Показьваем типичные метрики 


1. СТК = 59 
vta mar (-,- ACCURACY = 95% 


ОА клиента 


Walmart 
Ч» 


al, 
24“ 


СТК = 5% 
АССОКАСҮ = 95% 


СТК = 22 
ACCURACY = 25% 


Вторая метрика теперь тоже под вопросом 


-1. СІК-5% 
Walmart > ~ ACCURACY = 95% 
«у 
СТЕ = 22 


as ACCURACY = 25% 


А внутри команды? 


“Мы стали проводить А/А/В вместо 
А/В, и оказалось, что мы занимались 
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Жай са» 
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im Bac ждет только отчаяние 
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Что реально нужно бизнесу 


ці \ Нен! саан 
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Что реально нужно бизнесу 


- Прозрачность 


ці \ Нен! саан 
и Весна2021 


Что реально нужно бизнесу 


- Прозрачность 
- Предсказуемость 
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Что реально нужно бизнесу 
- Прозрачность 


- Предсказуемость 
- Масштабируемость 
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Что реально нужно бизнесу 


Прозрачность 
Предсказуемость 
Масштабируемость 


|“ High! саа++ 
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Что реально нужно бизнесу 


Прозрачность 
Предсказуемость 
Ж Масштабируемость 


б High! саа++ 
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Похожие по смыслу строки 


225 grams of beef 
11р beef, cut into pieces 
2 cups diced cooked beef 


2 165, beef, to serve four 


з НЕН! оаа 
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Нормализованные сущности 


225 grams of beef 


115 beef, cut into pieces —À 
7 


2 cups diced cooked beef 


2 165, beef, to serve four 


з High! oad- 


Онтология сушностей 


225 grams of beef 


11р beef, cut into pieces 


2 cups diced cooked beef 


2 Ibs, beef, to serve four 
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Как управляться с огромной онтологией? 


225 grams of beef t0 


BEAPOT 
СУММҮ BEAR 
BELUGA CAVIAR 


BEEF 
MINCE BEEF 
BEEF STEAK 
BEEF CUBE 
BEEF 


^i \ HighLoad++ 
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Маппинг через сабсринги 


225 grams of beef 


Шр beef, сито... — 


2 cups diced cooked beef VA 
2 165, beef, to serve four 


BEEF 


HL 


Маппинг через сабсринги 


225 grams of minced beef 


ERE 

minced beef 

«e — — — EN 
115 beef mince ны 


_ = 
2 155 of ground beef 
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Маппинг через сабсринги 
225 grams Шпіпсес вест А 


нь High! саа++ 
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Задача Sequence tagging 


Pillsbury'" § refrigerated 


р High! oad 
(нь) Нет oads 


Задача Sequence tagging 


ми 0081 refrigerated | sugar cookies 


Quantity: 16.5 

Unit: 02 

Brand: Pillsbury 
Product: sugar cookies 


г HighLoad++ 
(нь) непо: 


Максимально эффективная ручная работа 


Сырые данные Сегментированная строка Обьект онтологии 


РОТАТО 


1 big potato 


ü 


аннотатор онтология 


ці \ Нен! саан 
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Здесь есть место для МЇ 


РОТАТО 


DA 


- 
1 big potato 


т ОНТОЛОГИЯ 
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Здесь есть место для МЇ 


1 big potato 
ML ОНТОЛОГИЯ Оч 


277 
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здесь есть место для МЇ 


МЇ ОНТОЛОГИЯ Оч 
із 


аннотатор 


ці \ Нен! саан 
и Весна2021 


Здесь есть место для МЇ 


- 
1 big potato ee 
ML ОНТОЛОГИЯ Оч 
Р 


аннотатор 
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Отказ от классификации! 


МЕ онтология 
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Можно и в чистом МЁ-сетапе, но сложно 


= 


= “это говядина с вероятностью 70%” 


з НЕН! оаа 
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Можно и в чистом МЁ-сетапе, но сложно 


“это говядина с вероятностью 70%” 


Precision (08 21229» 


Precision/Recall 


9.8 Recall 0.2815 
0 0.2 0.4 0.6 0.8 0.99 


Сопћдепсе |еуе! 


г HighLoad++ 
(HL) нето: 


Появляются качественные офлаин-метрики 


75% are parsed successfully 


el 


x? m? mc? m? 


з High! сасн- 


Появляются качественные офлаин-метрики 


gf 99% users are happy 
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Бизнес-процесс 
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Бизнес-процесс 


Получаем метрики 


скрапим контент 
качества 
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(HL) d d 2021 


Бизнес-процесс 


Получаем метрики 


скрапим контент 


подписьваем контракт 


качества 


ТА HighLoad++ 
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Бизнес-процесс 


Получаем метрики 
скрапим контент подписываем контракт 
качества 


Вручную улучшаем 
контент 


До-тренируем модель 


ТА HighLoad++ 
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Бизнес-процесс 


скрапим контент 


Получаем метрики 


подписьваем контракт 
качества 


Вручную улучшаем 


о-тренируем модель 
H р ру А контент 


Метрики растут 


А потом можно сделать совсем хорошо 


Базовай пайплайн > Епа2епа-модель 


У ¥ ¥ 


отправляем на 


перепроверку 
аннотаторам 


Резюмируя 


Bonus round! Тонкости разметки 


ТА HighLoad+ 
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Вопиз гоипа! Тонкости разметки 


Pillsbury ™ | refrigerated 


г Highl оаа 
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Вопи$ гоипа! Тонкости разметки 


Quantity: 16.5 

Unit: 02 

Brand: Pillsbury 
Product: sugar cookies 


РІБӘШГУ refrigerated | sugar cookies 


г HighLoad++ 
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Вопи$ гоипа! Тонкости разметки 


noc 


black beans 


?? 


з High! саа++ 
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Что делать? 


( ounces black beans 
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Как нам помочь аннотатору сделал правильный выбор? 


?? 


|“ High! саа++ 
нее 


Как нам помочь аннотатору сделал правильный выбор? 


Quantity: 30 
2 (15 оипсе) сапз Unit: oz 


black beans, rinsed Brand: - 
and drained Product: black beans 


А HighLoad+ 
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Коммуникации синжинирингом 


Инженерь ыг 


Аннотаторы 


А HighLoad 
(нь) Highl ова 


(трудности построения онтологий) 


ORGANIC ABERDEEN ANGUS BEEF RUMP ROAST 
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(трудности построения онтологий) 


ORGANIC ABERDEEN ANGUS BEEF RUMP ROAST 


Frequent questions and answers 


Q: 15 nutrition important (no salt added, reduced sugar, sugar free...)? 

A: Yes, as noted in the example above we should separate those products from regular 
ones. 

Q: Why? 

A: Because of nutrition, it is different, but also store items matching. Important: low-fat, 
reduced-fat, and fat-free are not synonyms, they all are separated products. 


Q: Singular or plural? 
A: Prioritize singular except in cases when plural sounds more ‘natural’ 
Example: CANNED OLIVES should be in plural because there is not only one olive in a can. 


Q: Is gluten-free, dairy-free, vegan comment or part of the product name? 


A: Depending on the context, only when it makes sense. if the product is GLUTEN FREE 
BREAD it's a part of the product name because BREAD usually contains gluten. But in 
cases like gluten-free milk it’s a comment because milk doesn’t contain gluten. 


Проблемы данных тяжело править постфактум 


данные > МІ-алгоритмы 
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Сүхой остаток 


Нейросеть 


ктура, разметка данньх 


лзнес-процессы 
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Сүхой остаток 


Нейросеть 


ктура, разметка данньх 


лзнес-процессы 


ТА HighLoad++ 
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